Стартап Anthropic, специализирующийся на технологиях генеративного ИИ, по информации Datacenter Dynamics, намерен использовать ускорители Google TPU для обучения своих систем, включая большую языковую модель Claude. Многие компании вынуждены искать альтернативы дефицитным чипам NVIDIA, хотя это и требует дополнительных затрат для адаптации ПО.

Речь идёт о чипах Google TPU v5e, которые были анонсированы в августе нынешнего года. Это специализированные решения, предназначенные для обучения нейросетей или инференс-систем среднего и большого классов. Ускоритель содержит четыре блока матричных вычислений, по одному блоку для скалярных и векторных расчётов, а также HBM2-память.

Источник изображения: pixabay.com

Google и Anthropic уже связывают партнёрские отношения. В частности, в конце 2022-го Google приобрела в этом ИИ-стартапе долю в размере 10 % за $300 млн. В октябре 2023-го стало известно, что Google предоставит Anthropic дополнительно $500 млн, а позднее — ещё $1,5 млрд. Google уже добавила в своё облако ИИ-модели Anthropic, а стартап, в свою очередь, развернул один из самых крупных кластеров Google Kubernetes Engine (GKE) для ИИ.

Между тем интерес к Anthropic проявляют и другие компании. Так, в августе нынешнего года SK Telecom вложила $100 млн в этот ИИ-стартап. А в сентябре Amazon объявила о намерении инвестировать в Anthropic до $4 млрд. По условиям соглашения, Anthropic будет использовать облачные ресурсы AWS; кроме того, стороны займутся разработкой чипов Trainium и Inferentia нового поколения.

Холдинг Alphabet, материнская структура Google, опубликовал отчёт о работе в III четверти текущего финансового года, которая была закрыта 30 сентября. Выручка за трёхмесячный период достигла $76,69 млрд, что примерно на 11 % больше прошлогоднего результата в $69,09 млрд.

По итогам квартала получена чистая прибыль в размере $19,69 млрд. Для сравнения: годом ранее показатель равнялся $13,91 млрд. Таким образом, рост составил около 40 %. Прибыль в пересчёте на одну ценную бумагу в годовом исчислении поднялась с $1,06 до $1,55.

Продолжается активное развитие облачного бизнеса Google Cloud. В него входят инфраструктурные и платформенные сервисы, средства совместной работы и другие инструменты для корпоративных заказчиков. Выручка в данном сегменте за год поднялась с $6,87 млрд до $8,41 млрд. Темпы роста зафиксированы на отметке 22 %, что вдвое превосходит значение для бизнеса Alphabet в целом. По направлению Google Cloud в III квартале 2023-го показана операционная прибыль в размере $266 млн, тогда как годом ранее это подразделение понесло операционные убытки около $440 млн.

Источник изображения: Google Cloud

В последние годы Alphabet вкладывает значительные средства в свой бизнес облачных вычислений, пытаясь догнать основных конкурентов в лице Amazon Web Services (AWS) и Microsoft Azure. На фоне роста интереса к генеративному ИИ облачный бизнес становится ещё более важным, поскольку многие корпоративные клиенты переносят в облако свои самые значительные вычислительные нагрузки. Вместе с тем по итогам квартала подразделение Google Cloud не оправдало ожидания сторонних аналитиков, которые прогнозировали выручку на уровне $8,64 млрд. В компании это связывают с сокращением затрат со стороны клиентов на фоне кризиса и сложной макроэкономической обстановки.

Отмечается также, что Google добилась значительной экономии средств благодаря увеличению срока службы оборудования. Компания повысила расчётный период эксплуатации серверов с четырёх до шести лет, а ряда сетевых устройств — с пяти до шести лет. В результате, за первые девять месяцев 2023 года Google сократила расходы на $2,9 млрд и увеличила чистую прибыль на $2,3 млрд.

Сроки использования оборудования увеличивают и другие операторы дата-центров и облачных платформ. В 2022 году на такие меры пошла Microsoft, тогда как Amazon сообщила о намерении создать специальную фабрику по восстановлению и переработке своего серверного оборудования. А облачный провайдер Scaleway и вовсе довёл срок эксплуатации серверов до 10 лет.

Google, входящая в Alphabet, объявила о планах добавить в свою облачную платформу инструменты искусственного интеллекта (ИИ) таких компаний, как Meta✴ Platforms и Anthropic, позиционируя себя как универсальная площадка для облачных клиентов, желающих воспользоваться ИИ. При этом более половины стартапов в области генеративного ИИ, поддерживаемых венчурными фондами, включая Anthropic, Character.ai и Cohere, используют именно Google Cloud.

Вскоре клиенты Google получат доступ к большой языковой модели (LLM) Llama 2 от Meta✴, а также к ИИ-чат-боту Claude 2 ИИ-стартапа Anthropic для создания с помощью корпоративных данных собственных приложений и сервисов. По словам компании, теперь клиентам Google Cloud доступно более 100 мощных моделей и инструментов ИИ. Сама Google продолжает совершенствовать свои собственные модели и инструменты ИИ. В частности LLM PaLM 2 теперь доступна на 38 языках и может лучше анализировать объёмные документы, такие как исследовательские работы, книги и юридические записки.

Изображение: Google

Заодно компания отметила, что ИИ-помощник для разработчиков Codey стал производительнее, а Imagen, приложение для преобразования текста в изображение, теперь будет выдывать более качественные результаты с возможностью настройки стиля. Кроме того, Google Cloud анонсировала функцию, которая позволит добавлять в изображение водяной знак, указывающий на то, что оно создано ИИ. По словам компании, эта функция, основанная на технологиях Google DeepMind, будет включать водяной знак на уровне пикселей, чтобы его было трудно изменить.

Также компанией было объявлено о развитии продукта Duet AI для Google Workspace, доступ к которому для широкой публики появится позже в этом году. Пользователи смогут задействовать помощник с генеративным ИИ, который отвечает на запросы и помогает создавать контент в Google Docs, Sheets и Slides. По словам Google, Duet AI может делать заметки во время видеозвонков, отправлять сводки встреч, переводить субтитры на 18 языков и даже подменять пользователя на видеособраниях.

Наконец, Google похвасталась, что её отраслевые модели тоже набирают популярность. Например, LLM Med-PaLM 2, адаптированная для медицинской сферы, используется Bayer Pharmaceuticals, HCA Healthcare и Meditech, а модель Sec-PaLM 2, разработанная для обеспечения кибербезопасности, используется Broadcom и Tenable.

Google Cloud объявила о запуске первых инстансов на процессорах AmpereOne компании Ampere. Эти Arm-чипы насчитывают от 136 до 192 вычислительных ядер, каждое из которых способно обрабатывать один поток инструкций. Анонсированные инстансы получили обозначение C3A. Они доступны в конфигурациях с количеством vCPU от 1 до 80. Задействованы память DDR5 и локальные SSD неназванной ёмкости. Заявленная пропускная способность сетевого подключения — до 100 Гбит/с.

Инстансы C3A уже интегрированы с рядом сервисов Google Cloud, включая GKE, Dataflow, Cloud Batch и Dataproc, так что разработчики приложений смогут использовать новые виртуальные машины с привычными инструментами. Отмечается, что Arm-инстансы обеспечивают улучшение соотношения цена/производительность на 40 % по сравнению с сопоставимыми по классу виртуальными машинами текущего поколения на процессорах с архитектурой x86.

Источник изображения: Ampere

Немногим более года назад платформа Google Cloud запустила инстансы T2A Tau на чипах Ampere Altra. Появление решений C3A является значимым событием для компании Ampere. Участники рынка полагают, что в обозримом будущем примеру Google последуют другие ведущие облачные провайдеры, включая Oracle Cloud Infrastructure и Microsoft Azure.

Источник: Ampere

На текущий момент доступ к инстансам C3A предоставляется в рамках закрытой программы предварительной оценки. О сроках запуска общедоступных версий ничего не сообщается, так что хотя Google формально является первым облачным провайдером, предложившим инстансы с AmpereOne, другие игроки, особенно второго эшелона, могут обогнать компанию и первыми предоставить в общий доступ свои Arm-инстансы.

Google Cloud сообщила, что в следующем месяце станут доступны инстансы Google Compute Engine A3 на базе платформы NVIDIA HGX H100 с восемью ускорителями H100, двумя процессорами Intel Xeon Sapphire Rapids, 2 Тбайт, а также интерконнектом NVLink и адаптерами Google Titanium. Платформ обеспечивает высокую производительность для всех видов ИИ-приложений, в том числе для обучения и обслуживания особенно требовательных рабочих нагрузок ИИ и больших языковых моделей (LLM).

В блоге Google Cloud отмечено, что сочетание ускорителей NVIDIA с ведущими инфраструктурными технологиями Google Cloud обеспечивает масштабируемость и производительность и является огромным шагом вперёд в возможностях ИИ: обучение происходит в 3 раза быстрее, а пропускная способность сети в 10 раз выше, чем у предыдущего поколения. Инстансы A3 также поддерживают масштабирование до 26 тыс. ускорителей H100.

Изображение: NVIDIA

Незадолго до этого Google Cloud объявила NVIDIA партнёром года по генеративному ИИ (Generative AI Partner of the Year). Компании сотрудничают по разным направлениям: от проектирования инфраструктуры до реализации программного обеспечения, чтобы упростить создание и развёртывание приложений ИИ на платформе Google Cloud. PaxML, платформа Google для создания больших языковых моделей, теперь оптимизирована для решений NVIDIA и доступна в реестре NVIDIA NGC. Google использовала PaxML для создания внутренних моделей, включая DeepMind, а также исследовательских проектов.

Кроме того, компании сервис Google Dataproc позволяет задействовать решения NVIDIA для ускорения работы Apache Spark. H100 вскоре также появятся на платформе Vertex AI. Наконец, было обещано, что в облаке Google появятся NVIDIA DGX Cloud и новейшие гибридные чипы GH200. Впрочем, вместе с анонсом A3 Google представила ИИ-инстансы на базе собственных ускорителей TPU v5e.

Платформа Google Cloud объявила об открытии облачного региона Берлин-Бранденбург: это вторая такая площадка на территории Германии и 12-я по счёту в Европе. Новая инфраструктура будет обслуживать как местных клиентов, так и заказчиков из соседних стран, в частности, из Чехии, где нет собственного облачного региона Google.

О планах по созданию площадки компания впервые объявила в сентябре 2021 года. Данный проект является частью масштабной программы, предусматривающей развитие цифровой инфраструктуры и чистой энергии в Германии. На эти цели в период с 2021-го по 2030 год Google планирует потратить €1 млрд.

Источник изображения: Google

Площадка будет функционировать наряду с первым германским регионом Google Cloud, который располагается во Франкфурте-на-Майне. Оба региона при содействии T-Systems будут предоставлять услуги «суверенного облака», которое отличается более строгим контролем за хранением, перемещением и обработкой данных. Наличие второго региона на территории страны позволит улучшить отказоустойчивость для местных государственных, финансовых и иных критических служб.

Google Cloud также оперирует в Европе регионами europe-west1 (Бельгия), europe-west2 (Лондон, Великобритания), europe-west3 (Франкфурт-на-Майне, Германия), europe-west4 (Нидерланды), europe-west6 (Цюрих, Швейцария), europe-west8 (Милан, Италия), europe-west9 (Париж, Франция), europe-west12 (Турин, Италия), europe-central2 (Варшава, Польша), europe-north1 (Финляндия) и europe-southwest1 (Мадрид, Испания).

Как сообщает Silicon Angle, учёные Гарвардского университета развёрнули в Google Cloud Platform облачный суперкомпьютер для эффективного изучения способов лечения заболеваний сердца. Ожидается, что такой метод использования облачных ресурсов поможет и другим учёным, имеющим затруднения с доступом к мощным HPC-системам.

По словам учёных, исследование предполагало моделирование новой методики лечения, в теории позволяющей растворять тромбы и устранять опухолевые клетки в кровеносной системе. Для этого требовались большие вычислительные ресурсы, обычно доступные только пользователям суперкомпьютеров. Команде выделили машинное время для проведения лишь одной симуляции на суперкомпьютере, поэтому им пришлось искать выход из положения. В итоге учёные обратились к Citadel Securities, которая помогла развернуть виртуальный суперкомпьютер в облаке Google.

Источник изображения: franganillo/pixabay.com

Платформы вроде Google Cloud по умолчанию не очень хорошо подходят для выполнения научных задач, поскольку для этого требуется ряд изменений в инфраструктуре, которые уже делаются. А пока Гарвард совместно с Citadel Securities и Швейцарской высшей технической школой Цюриха объединили тысячи инстансов в Google Cloud для создания виртуального суперкомпьютера. Они провели тонкую настройку ПО для объединения распределённых ресурсов и добились порядка 80 % производительности реального суперкомпьютера.

Впрочем, некоторые эксперты сомневаются, что такой метод доступа к HPC-ресурсам составит конкуренцию настоящим суперкомпьютерам, поскольку загрузка облачных платформ и без того высока, особенно в эпоху освоения генеративного ИИ. Отметим, что масштабные облачные HPC-системы сами по себе далеко не новы. Один из первых экспериментов был сделан ещё в 2019 году, тогда удалось объединить 50 тыс. ускорителей. А пару лет назад облачный суперкомпьютер Descartes Labs попал в TOP500.

Стремясь удовлетворить ожидаемый спрос на генеративный ИИ, компания Microsoft увеличила капвложения в IV квартале 2023 финансового года до $10,7 млрд с $7,8 млрд в предыдущем квартале, пишет Data Center Dynamics (DCD). Капвложения Google во II квартале 2023 года составили $6,89 млрд, что, впрочем, ниже первоначальных прогнозов аналитиков, ожидавших около $7,9 млрд. Это связано с замедлением строительства офисов и задержками «некоторых проектов строительства ЦОД», отметил DCD.

Как сообщает Microsoft значительные средства были вложены в дата-центры, вычислительную инфраструктуру и сети. По словам компании, капвложений с каждым кварталом будут увеличиваться на протяжении всего 2024 финансового года. «Ускорение действительно довольно значительное, — отметила финдиректор Эми Худ (Amy Hood) в квартальном отчёте. — Это касается как ЦОД, так и CPU с GPU, а также сетевого оборудования». Худ добавила, что компания направляет средства на увеличение ёмкости для «обычных рабочих нагрузок Azure, а также некоторых рабочих нагрузок ИИ».

Источник изображения: Microsoft

Вложив миллиарды долларов в OpenAI, Microsoft стала единственным облачным провайдером стартапа, но вместе с тем, как и другие гиперскейлеры, стремится получить достаточное количество ускорителей NVIDIA. Ранее она подписала соглашение о сотрудничестве с CoreWeave об использовании его мощностей для обработки ИИ-нагрузок своих клиентов. По слухам, аналогичное соглашение Microsoft имеет и с Lambda. А до этого она обсуждала совместное использование ускорителей с Oracle, поскольку NVIDIA, похоже, предпочитает отдавать новейшие продукты тем компаниям, которые не пытаются разработать собственные ИИ-ускорители.

«Главная задача — быть в состоянии активно удовлетворять кривую спроса», — заявила Худ. Возможность увеличения капвложений обеспечивается ростом доходов: Microsoft сообщает об увеличении выручки за квартал на 8 % год к году до $56,2 млрд. Продажи облака Azure выросли на 27 %. Компания отметила, что около одного п.п. роста приходится на ИИ, и в следующем квартале, как ожидается, рост ИИ составит 2 п.п. При этом Microsoft не предоставляет финансовые данные по Azure. Известно лишь, что выручка подразделения Intelligent Cloud, куда входит Azure, составила в минувшем квартале $24 млрд.

Источник изображения: Google

Google также заявила, что инвестирует значительные средства в ЦОД и ИИ-инфраструктуру. «Самая большая часть расходов пришлась на серверы, что включало значительное увеличение наших инвестиций в ИИ-вычисления», — сообщила в квартальном отчёте Рут Порат (Ruth Porat) финансовый директор холдинга Alphabet, куда входит Google. По словам Порат, «уровни инвестиций в техническую инфраструктуру [вырастут] во II половине 2023 года и продолжат расти в 2024 году», что позволит наверстать медленный старт. Компания будет «инвестиировать в GPU и TPU, а также в мощности ЦОД».

В свою очередь, глава Alphabet Сундар Пичаи (Sundar Pichai) заявил, что ИИ-инфраструктура компании является ведущей платформой для обучения и обслуживания моделей генеративного ИИ. Более 70 % компаний-единорогов в этой области являются клиентами Google Cloud, включая Cohere, Jasper, Typeface и т.д. Также компания, по его словам предлагает, самые широкие возможности ИИ-суперкомпьютинга на базе TPU и ускорителей NVIDIA. Подразделение Google Cloud сообщило о 28-% увеличении продаж во II квартале (до $8 млрд) в годовом исчислении и прибыли в размере $395 млн.

Холдинг Alphabet, материнская структура Google, отрапортовал о работе во II четверти 2023 года. Выручка за трёхмесячный период составила приблизительно $74,6 млрд, что на 7 % больше прошлогоднего результата ($69,7 млрд). Причём показатель превзошёл ожидания аналитиков, прогнозировавших выручку в размере $72,8 млрд.

Чистая прибыль Alphabet в период с апреля по июнь включительно достигла $18,4 млрд против $16,0 млрд годом ранее. Прибыль в пересчёте на одну ценную бумагу увеличилась в годовом исчислении с $1,21 до $1,44.

Источник изображения: Google

В отчёте говорится о продолжающемся расширении облачного бизнеса Google Cloud. Выручка в данном сегменте во II квартале 2023-го составила $8,0 млрд против $6,3 млрд годом ранее. Таким образом, рост оказался на уровне 28 %. При этом была показана операционная прибыль в размере $395 млн, в то время как во II четверти 2022 года подразделение Google Cloud продемонстрировало операционные убытки в $590 млн. В прошлом квартале облако Google впервые за 15 лет получило прибыль.

Генеральный директор Alphabet Сундар Пичаи отметил, что в перспективе расширению Google Cloud будут способствовать приложения и сервисы на основе ИИ, которым требуются значительные вычислительные ресурсы. По его словам, инфраструктура Google Cloud, оптимизированная для ИИ, является одной из ведущих в отрасли платформ для обучения генеративным моделям.

На этом фоне холдинг Alphabet несколько расширил штат. По состоянию на конец июня 2023 года в различных подразделениях трудились в общей сложности 181 798 сотрудников. Для сравнения: годом ранее у компании было 174 014 работников.

Облачная площадка Google Cloud объявила о приёме на работу Криса Вондерхаара (Chris Vonderhaar) — бывшего главы отдела проектирования, строительства и эксплуатации дата-центров Amazon Web Services (AWS). О том, что Вондерхаар покинул AWS, стало известно немногим более месяца назад.

Вондерхар присоединился к Amazon в 2010 году. В последние годы занимал пост вице-президента сети ЦОД AWS. Помимо развития инфраструктуры дата-центров, он курировал инициативы облачного гиганта в области устойчивого развития, включая инвестиции в возобновляемые источники энергии. Как теперь стало известно, Крис Вондерхаар возглавит подразделение, отвечающее за цепочки поставок и работу Google Cloud.

Вместе с тем Урс Хёльцле (Urs Hölzle), который был восьмым по счёту сотрудником Google и руководил проектированием первых дата-центров компании, уходит в отставку. Хёльцле, проработавший в корпорации почти 24 года, сказал, что сосредоточится на предоставлении консультационных услуг, а также на выполнении некоторых технических работ, в частности, связанных с ИИ. В рамках перестановки в руководящем составе вице-президент по инженерным вопросам Google Cloud Бен Трейнор Слосс (Ben Treynor Sloss) начнёт подчиняться непосредственно Томасу Куриану (Thomas Kurian) — генеральному директору Google Cloud.

Источник изображения: Google

AWS, в свою очередь, переманила к себе Рэйджин Скиллерн (Raejeanne Skillern) на должность вице-президента и главного директора по маркетингу (CMO). Скиллерн проработала в Intel с 2002 по 2019 год. Перед уходом из компании она занимала должность вице-президента и отвечала за взаимодействие с облачными провайдерами. На новом месте она будет отвечать за развитие AWS, в том числе за направление ИИ. Примечательно, что позиция CMO в AWS не была занята с сентября 2022 года.